#reasoning traces

3 篇

Bridged Self-Distillation for On-Policy Learning

桥接自蒸馏用于在线策略学习

🧭 蒸馏训练 · On-Policy 推理蒸馏

Technical University of Munich · LMU Munich · Munich Center for Machine Learning (MCML)

提出 Bridged Self-Distillation 统一框架，用教师推理轨迹作特权上下文，通过自教师与 verifier 实现在线策略蒸馏，适用于任意教师场景

📌 工作参考价值（3 点）

蒸馏大模型用于业务中的 query 生成、推荐解释、Agent 规划时，若教师是开 API 或分词器不同，可直接采用 BSD：教师只输出推理文本作为上下文，学生自我蒸馏，省去 logits 对齐和词汇映射。
用业务 verifier（点击率、转化率、规则满足等）作为结果信号，结合在线策略样本只对失败 rollout 施加 token 级修正，可训练出更贴合业务目标的小模型。
特权上下文技巧可迁移：训练时给模型额外的推理线索或高质量解释，推理时不暴露，类似推荐中训练时使用详细的用户行为解释，部署时只用原始特征，可有效提升小模型能力。

Training | 2026-10-19 | HF Daily | score 7/10

人们几乎做了什么：超越行为拟合的 LLM 社交模拟评估

🧭 LLM 社交模拟评估 · 推理保真

The Information School, University of Washington · MIT CSAIL

提出 representational adequacy 作为 LLM 社交模拟的新评估目标，用推理轨迹衡量推理过程是否忠实于人群

📌 工作参考价值（4 点）

在电商/广告领域用 LLM 模拟用户对推荐、广告、搜索结果的反馈时，不要只收集点击/转化等行为动作；要求 agent 同时输出决策前的 reasoning trace，并检查 scenario–reasoning–action 三元组是否自洽，避免“行为相同但动机错误”扭曲 A/B 模拟结论。
评估用户模拟器或对话 agent 时，可将 representational adequacy 作为过程性指标：对比 agent 推理与真实用户访谈/出声思考/评论数据的差异，而不只对比动作分布或最终满意度评分。
工程上可把 reasoning trace 作为结构化状态存储（类似日志或 KV 状态），便于事后审计和回归测试；但注意可解释性不等于代表性充分，需要额外与真实认知数据对齐。
当前概念性较强、无现成测量方法，直接落地有门槛；但明确提醒：若用 LLM 模拟做干预比较（如不同推荐策略、广告文案），动机模型不可靠时结论风险高，建议对推理保真度做敏感性检验。

Eval | 2026-09-17 | cs.HC | score 6/10

重新审视完整推理轨迹在后训练中的作用

🧭 LLM 推理后训练 · 轨迹截断

NAVER AI Lab

完整推理轨迹对SFT收益有限，仅用端点训练更高效且可迁移到RL和蒸馏

📌 工作参考价值（4 点）

在训练 LLM 生成推荐理由、商品卖点、搜索 query 改写等推理链时，可只保留结论或关键步骤，不必收集完整思维链；中间冗余 token 会分散学习，截断后模型可借助内部知识补齐缺失步骤。
使用端点（如最终答案/推荐结果）作为 SFT 目标，能提高样本利用效率，降低 token 长度与训练成本，尤其适合大规模商品语料和长推理场景。
对基于 RL 或 on-policy distillation 的 Agent 策略优化，可考虑用部分轨迹或关键状态对替代全轨迹，减少冗余更新和奖励 hacking，保持推理行为稳定。
在构建电商问答/搜索推荐 Agent 的训练数据时，优先定义任务端点和关键中间约束，而非依赖完整长文本；该发现支持用更简洁的监督信号。

Training | 2026-09-06 | HF Daily | score 7/10